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Prufungsantrag gem. § 44 PatG ist gestellt 

(3) Verfahren zur Komprimierung und Dekomprimierung von Videodaten 

(57) Die Erfindung betrifft ein Verfahren zur Komprimierung 

und Dekomprimierung von Videodaten, die aus einem Ar- 
ray einzelner Bildpunkte (Pixel) bestehen, wobei jedes Pi- 
xel einen sich zeittich verandernden Pixelwert aufweist, 

der Farb- oder Helligkeitsinformation des Pixels be- 

schreibt. ErfindungsgemaS wird jedem Pixel eine Priorl- 

tat zugeordnet und die Pixel entsprechend ihrer Priorisie- 

rung in einem Prioritatenarray abgelegt. Dieses Array ent- 

halt zu jedem Zeitpunkt die nach der Priorisierung sortier- 

ten Pixelwerte. Entsprechend der Priorisierung werden 

diese Pixel und die fur die Berechnung der Priorisierung 

benutzten Pixelwerte ubertragen bzw. abgespeichert. Ein 

Pixel bekommt eine hohe Prioritat, wenn die Unterschie- 

de zu seinem benachbarten Pixel sehr groIS sind. Zur Re- 

konstruktion werden die jeweils aktuellen Pixelwerte auf 
■ dem Display dargestellt. Die noch nicht ubertragenden Pi- 
I xel werden aus den schon ubertragenden Pixein berech- 
• net. 
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Beschreibung 



[0001] Die Erfindung J|^H|reibt ein Verfahren zur Komprimierung und Dekom^j|^rung von \^deodaten 
[0002] Videos erzeug^^Be Datenmengen. Um diese Datenmengen effelctiv zj^^m-agen und abzuspeichem, ist es 
5 sinnvoU diese zu kompnrBren. 

[0003] Nach der heutigen Stand der Technik werden Videosignale in einer schnellen Abfolge von Einzelbildem aufge- 
nommen und wiedergegeben. Beim Femsehen (PAL-Norm) sind dies 25 Bilder pro Sekunde, bzw. 50 Halbbilder. Bei di- 
gitalen Aufhahmen sind das bis ca. 30 Bilder pro Sekunden. Jedes Bild wird in Zeilen zerlegt, und zunachst sequendell 
iibertxagen. 

10 [0004] Bisherige Komprimierungsmethoden basieren im wesentiichen auf der Reduzierung der Auflosung, der Farb- 
liefe und der Verringerung der Anzahl der Bilder pro Sekunde. Bei der digitalen Kompression, z. B. den MPEG-Verfali- 
ren, werden anstelle von kompletten Bildem im wesentiichen die DifFerenzbilder, d. h. die Unterschiede der einzelnen 
Bildpunkte (Pixel) im Vergleich zum vorfierigen Bild, anstelle der Komplettbilder iibertragen. Der neueste Standart fur 
Videokodierung ist MPEG4. 

15 [0005] MPEG ist die Abkurzung fiir "Motion Pictures Expert Group". \hn dieser Gruppe wuiden bzw. werden Datei- 
formate und Verfahren zum piatzsparenden Komprimieren und Speichem von Video- bzw. Multimediadaten (Video, 
Bild- und Tondaten) in hoher (^alilat fesdegt. Der MPEG-Standard unterteilt sich inzwischen in MPEG-1, MPEG-2, 
MPEG-3 und MPEG-4, wobei der MPEG-3-Standard mittlerweile in MPEG-2 integriert wurde. 
[0006] Um die riesige Datenmenge von Filmen mit "normalen" Computem verarbeiten und transportieren zu konnen, 

20 werden nur die Veranderungen zum Vorgangerbild abgespeichert. Das MPEG-Format speichert in regelmafiigen Abslan- 
den von typischerweise zwolf Bildem sogenannte Intra-Frames ab; das sind JPEG-komprimierte Einzelbilden Die Bilder 
zwischen diesen I-Frames werden nach Moglichkeit nicht kompiett abgelegt. Vielmehr speichert MPEG, wie man sie 
durch Verschieben von Teilen aus vorangehenden oder nachfolgenden Bildem zuriickgewinnen kann. Dazu werden auch 
vorausschauende "Predicted Frames" und "B-Frames" (Bi-directionale Frames) verwendet. Da das aber nie perfekt 

25 klappt, werden zusatzlich pro Bild die verbleibende Abweichung noch JPEG-kodiert abgespeichert. Mit dieser Methode 
lasst sich der Datenaufwand fur einen Video-Film um etwa 99% verringem. Die mogliche Kompression geht bis 200 : 1. 
[0007] MPEG- 1 wurde fiir fliissige Video- Wiedergaben entworfen. Die MPEG- 1 -Komprimierung bzw. Dekomprimie- 
rung war urspriinglich ein hardwareabhangiges Verfahren. Es ist allerdings mittlerweile, dank der schnellen Prozessoren, 
auch ein Softwaredekomprimieren moglich. 

30 [0008] Der wesentliche Unterschied zwischen MPEG- 1 und MPEG-2 besteht darin, daB MPEG-2 besser mit dem beim 
Femsehen eingesetzten Zeilen sprung verfahren (Interlace) umgehen kann. Das Geheimnis von MPEG-2 liegt in der 
Kompression auf hochster Qualitatsstufe, so daB Filmmaterial nahezu 1 zu lin Studioquahtat bearbeitet und editiert wer- 
den kann. Konsequenterweise etablierte sich MPEG-2 zu einem Standard. Bei einer reinen I-Framecodierung lassi sich 
MPEG-2 sogar im Schnittbetrieb einsetzen. 

35 [0009] Der Teil des MPEG-3-Standard, der fur High Definition TV-Qualitat (HDTV) vorgesehen war, wurde mittler- 
weile in den MPEG-2-Standard implementiert. 

[0010] MPEG-4 ist eine Weiterentwicklung des MPEG-2-Fomiats und befindet sich seit 1 996 in der Entwicklung. Ob- 
wohl MPEG-4 urspriinglich als ein Codierungsstandard fur audiovisuelle Daten mit sehr niedriger Bitrate gedacht wai; 
diente die Entwicklung weit mehr Zwecken als lediglich dem Streaming von linearen Mediendaten bei Internet- und 
40 drahtlosen Anwendungen. MPEG-4 stellt z. B . effiziente Mechanismen zur Komprimierung und ]>istribution interaktiver 
Medieninhalte bereit. AuBerdem verfiigt MPEG-4 iiber 3D-Potentiale, um kiinsdiche Intelligenzen zu visualisieren oder 
Avantare darzustellen, z. B. im Rahmen von Videokonferenzen. 

[0011] Die Kompressionsrate ist bei MPEG-4 hoher als bei MPEG-2, wobei "Sprites" besser komprimiert werden kon- 
nen, weii dem Codier-Mechanismus dafur wesentlich mehr Zeit zur Verfiigung steht. Eventuell kann dabei sogar auf Wa- 

45 velets umgeschaltet werden. Die Skriptsprache ermoglicht es, in wenigen Bytes Operationen wie "verschieben" wesent- 
lich schneller durchzufiihren, als es die digitalisierte komprimierte Form der gleichen Operadon ermoglichen wiirde. Mit 
Hilfe dieser "Sprites" konnen beliebig konturierte Standbilder iiber sich bewegende Bilder geschoben werden. 
[0012] Die Aufgabe der Erfindung liegt in der Schaffung eines Verfahrens zur Komprimierung von Videodaten, wel- 
ches eine einfache und flexible Anpassung an unterschiedliche Ubertragungsraten bzw. -bandbreite, Bildauflosungen und 

50 DisplaygroBen erlaubt. 

[0013] Diese Aufgabe wird durch die Merkmale des Patentanspruchs 1 gelost. 

[0014] Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteranspriichen angegeben. 
[0015] Vorzugsweise erfolgt eine parallele Verarbeitung der Videoinformationen im Videoaufnahmechip. Die parallele 
Verarbeitung dient dem Zweck, zunachst die wichtigsten Pixel zu ermitteln und diese entsprcchend einer Priorisierung in 
55 ein Prioritatenarray abzulegen. Dieses Array enthalt zu jedem Zeitpunkt, die nach der Priorisierung sortierten Pixelwerte. 
Entsprechend der Priorisierung werden diese Pixel, und die fiir die Berechnung der Priorisierung benutzten Pixelwerte, 
iibertragen bzw. abgespeichert. Ein Pixel bekommt eine hohe Prioritat, wenn die Unterschiede zu seinen benachbarten 
Pixel sehr groB sind. 

[0016] Zur Rekonstruktion werden die jeweils aktuellen Pixelwerte auf dem Display dargestelll. Die noch nicht uber- 

60 tragenden Pixel werden aus den schon iibertragenden Pixel berechnet. 

[0017] Entsprechend der Rechenleistung, der Ubertragungsbandbreite und der GroBe des Displays konnen unter- 
schiedliche Verfahren zur Berechnung der noch nicht ubertragenen Pixel eingesetzt werden. Steht eine sehr groBe Band- 
breite zur Verfiigung kann eine einfache lineare Interpolation durchgefiihrt werden. Steht nur eine sehr kleine Bandbreite 
zur Verfiigung, kann dies bei der Ubertragung der priorisierten Pixel beriicksichtigt werden. 

65 [0018] Durch den Historienverlauf der iibertragenden Pixel konnen Objekte identifiziert, und damit eine Bewegungs- 
abschatzung dieser Objekte durchgetlihrt werden. 

[0019] Der Grundgedanke des Verfahrens basiert auf der priorisierten Pixelspeicherung bzw. Obertragung. Bei der Ab- 
speicherung bzw. der Videoiibertragung miissen femer die zeitlichen und positionellen (innerhalb des Bildarrays) Ab- 



hangigkeiten der einzelnen Pixel oder in Pixelgruppen zusammengefassten Pixel beriicksichtigt werden. 
[0020] Urn cine extreme hohe Datenkompression zu erzielen werden jeweils die Pixelgruppen iibertragen, die die 
hochste Priorital haben^jfcijsher noch nicht iibertragen worden sind. Die Hachjui h. die Pixelwerte zwischen den 
schon iibertragenden Pi^^Bppen werden aus den schon Qbertragenden Pixelgru^^B>erechnet, z. B. durch Interpola- 
tion. Bei hoherer Auflosi^^groBeres Bildarray) steigt der enreichbare Kompressi^maktor, da bei natiirlichen Aufnah- 5 
men groBere Flachen meist einen gut vorhersagbaren (gleichmaBigen) Farbverlauf haben, z. B. blauer Hinmiel. 
[0021] Zu beachten ist auch, dass jeweils die exakten Pixelwerte iibertragen werden. Falls erforderlich erlaubt dies Afer- 
fahren eine verlustfreie Obertragung der Videoinformationen. 

[0022] Die Widerherstellung bzw. Rekonstruktion der Videodaten beruht auf Abschatzungen ahnlich des menschlichen 
S eh verbal tens. Der Mensch nimmt Reize war, aber die Interpretation was er auf diesem Bild erkennt, findet erst in sei- lO 
nem Gehim statt. Die Reize entsprechen den ubertragenen Pixelgruppen, die Interpretation entspricht dem Ausfiillen der 
Flachen zwischen den noch nicht iibertragenen Pixelgruppen. 

[0023] Um dieses zu realisieren, konnen zusatzliche Arrays angelegt werden. Dies sind unter anderem ein Array in 

welchem die Information vorhanden ist, aus welchen Pixelgruppen der Pixelwert an der aktuellen Position ermittelt 
wurde. Weitere Informationen konnen sein, wann diese Werle berechnet worden sind, aus welchen Pixelgruppen diese 15 
berechnet bzw. iibertragen worden sind. Auch eine Einschatzung iiber die Genauigkeit der Werte (z. B. Berechnung aus 
direkt benachbarten Pixel, geringe Varianz der zur Berechnung zugrunde liegenden Pixel) kann als zusatzliche Informa- 
tion ausgewertet werden. 

[0024] Das beschriebene Verfahren erlaubt eine wesentlich einfachere Anpassung des Videodatenstroms an unter- 
schiedliche DisplaygroBen und Bildauflosungen. 20 
[0025] Ein weitere Vorteil ist, dass durch die beschriebene Art der Kodierung des Videos nicht automatisch festgelegt 
wird, mit welchen Algorithmen das Video dekodiert werden muss. Dies wird durch Ubertragung der priorisierten Pixel- 
werte erreicht, die entgegen bei anderen Verfahren keine Mittelwertbildung erfahren. Hersteller haben damit die Mog- 
lichkeit Low bis High Cost Endgerate zu entwickeln und sich durch unterschiedliche Algorithmen vom Mitkonkurrenten 
hervorzuheben. 25 
[0026] Die angestrebte massiv-parallele Verarbeitung der Videodaten in einem speziell dafiir entwickelten Chip erlaubt 
es, extrem niedrigen Taku-aten zu verwenden, was sich giinstig auf den Stromverbrauch auswirkt. 
[0027] Durch Priorisierung konnen bestiramte Bereiche des Videos (z. B. Lippen bei Nachrichlensprechem) mit einer 
hoheren Prioritat und folglich einer besseren Auflosung iibertragen werden. 

[0028] Das Verfahren erlaubt es, aus dem Datenstrom des Videos fur unterschiedliche Endgerate die optimalen Teilda- 30 

tenstrome herauszufiltem, ohne das dies bei der Videoaufnahme beriicksichtigt werden muss. 

[0029] Ein Ausfiihrungsbeispiel der Erfindung wird anhand der Zeichnungsfiguren naher erlautert. Aus den Zeichnun- 
gen und deren Beschreibung ergeben sich weitere Merkmale, Vorteile und Anwendungsmoglichkeiten der Erfindung. Es 
zeigt: 

[0030] Fig. 1 Darstellung eines Bildarrays aus 20 x 21 Pixeln; 35 
[0031] Fig, 2 Darstellung verschiedener Formen von Pixelgruppen; 
[0032] Fig. 3 Bildarray mit bewegtem Objekt zu einem Zeitpunkt tl; 
[0033] Fig. 4 Bildarray mit bewegtem Objekt zu einem Zeitpunkt t2; 
[0034] Fig, 5 Bildarray mit bewegtem Objekt zu einem Zeitpunkt t3; 

[0035] Fig, 6 Neu generiertes Bildarray mit eingefiiglen Pixelgruppen in der Bildecke; 40 

[0036] Fig. 7 AusfiiOen der Rachen zwischen den bereits eingefiigten Pixelgruppen; 

[0037] Fig. 8 Einfiigen weitere Pixelgruppen und Ausfiillen der dazwischen liegenden Flachen. 

[0038] Nachfolgend wird anhand eines exemplarischen Beispiels eine Komprimierung • und Dekomprimierung eines 

Videosignals beschrieben. 

[0039] Folgaide Annahmen werden getroffen: 45 
Als Videoquelle steht ein derzeit iibliches Videosignal zur Verfiigung (z. B. PAL oder NTSC). Die Videoinfonnation 
kann mit einer handelsublichen elektronischen Einrichtung (z. B. Framegrabber-Karte) ausgelesen werden. Zur Veran- 
schaulichung des Verfahrens wird im folgenden ein minimiertes Bildarray mit einer Breite von 20 Pixel und einer Hohe 
von 21 Pixel verwendet (Fig. 1). Jedes Pixel des Arrays wird durch einen 32 Bit Wert (Pixelwert) reprasentiert. Die 32 
Bit sind z. B. in 4 Werte (Transparent, Rot, Griin, Blau) mit jeweils 8 Bit aufgeteilt. Die Position der Pixel ist durch eine 50 
Integer Zahl festgelegt. Das Bildarray wird in der in Fig. 1 gezeigten Weise von 0 bis 419 durchgezahlt. Die Zahl inner- 
halb jedes Kastens entspricht der Position des zugehorigen Pixels. Zwischen der Quelle und Senke besteht eine UDP 
(User Datagramm Protocol) Verbindung. Uber diese werden dann die komprimierten Videodaten geschickt. 
[0040] Die Komprimierung des \^deosignals erfolgt folgendermaBen: 

Das Verfahren beruht darauf, dass standig eine Priorisierung der einzelnen Pixel des Videosignals erfolgt, wobei die Pi- 55 
xel entsprechend ihrer Priorisierung in ein Array abgelegt werden. Dieses Array enthalt zu jedem Zeitpunkt, die aktuel- 
len, nach Prioritat sortierten Pixelwerte. Ein Pixel bekommt eine hohe Prioritat, wenn die Unterschiede zu seinen benach- 
barten Pixel sehr groB sind. Das Pixel wird zusammen mit seinen fur die Berechnung verwendeten Nachbarpixeln zu ei- 
ner Pixelgruppe zusammengefasst. Entsprechend der Priorisierung werden diese Pixelgruppen iibertragen bzw. abge- 
speichert. 60 

Bildarray einlesen 



[0041] Der Framegrabber hat zu jedem Zeitpunkt das jeweils aktuelle Bild in seinem Bildarray das wie in Fig. 1 ge- 
zeigt beispielsweise ein 20 X 21 Pixel groBes Bildarray sein kann. Jedes Pixel ist durch seine Position (0 bis 419) und sei- 
nen Pixelwert (Farb- bzw. Helligkeitswert) definiert. 
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Pixelgruppen festlegen 



[0042] Zuvor wurde £^^egt, welche benachbarten Pixel eine Pixelgruppe biW^^it pO ist dabei dasjenige Pixel 
bezeichnet, das die Posl^^Br Pixelgruppe angibt und fur das die Prioritat berecl^^Bb-d. Die relative Position der iib- 
5 rigen Pixel, z. B. pl-p4^^^r Pixelgruppe zum Bezugspixel pO eigibt sich aus de^rcrwendeten Art (Form) der Pixel- 
gruppe. In Fig, 2 sind exemplarisch einige mogliche Formen von Pixelgruppen dargestellt. Es konnen sowohl zum Be- 
zugspixel pO synunetrische als auch unsymmetrische Pixelgruppen gebildet werden. Welche Art von Pixelgruppe ver- 
wendet wird, ist u. a. von der Art des Bilcinaterials und der angestrebten Kompressionsrate abhangig. In der Regel ist der 
zu erreichende Kompressionsf aktor umso groBei; je mehr Pixel eine Pixelgruppe umfasst, Zum kodieren und dekodieren, 
10 d. h. komprimieren und dekomprimieren des Videobildes muss die gleiche Fonn von Pixelgruppen verwendet werden. 

Prioritatswerte ermitteln 

[0043] Fur jedes Pixel pO einer Pixelgruppe wird nun die Prioritat in Bezug auf dessen Pixelgruppe berechnet. Dabei 
15 wird jedes Pixel 0-419 des Bildes einmal zum Bezugspixel pO. Dabei ist erfindungsgemaB vorgesehen, dass die Berech- 
nung der Prioritatswerte der Pixel soweit wie moglich im Rahmen einer parallelen Datenverarbeitung durchgefiihrt wird. 
Optimal ist, wenn die Berechnung der Prioritaten aller Pixel des Bildes gleichzeitig erfolgt. Das es sich um ein Videosi- 
gnal handelt, werden die Prioritatswerte aller Pixel standig neu berechnet, da sich der BildinhaU laufend andert. Die Mel- 
zahl der Pixelgruppen, insbesondere die mit niedrigerer Priorisierung, werden sich aber mit einer hohen Wahrscheinlich- 
20 keit nicht andern. 

[0044] Zur Berechnung der Prioritat kann es verschiedene Rechenmethoden geben. Exemplarisch wird hier eine li- 
neare Methode verwendet. 

[0045] Dazu werden die einzelnen Pixelwerte PO, PI, P2, P3 und P4 einer Pixelgruppe in ihre Farbanteile Rot, Griin 
und Blau zerlegt. Jeder dieser Farbwerte wird durch 8 Bit reprasentiert, Fiir jede Farbe eines jeden Pixels P1-P4 wird nun 
25 ein Farbdifferenzwert in Bezug auf PO ermittelt, z. B. PO_rot-Pl_rot, P0_rot-P2_rot, . . P0_blau-P4_blau. Die absolu- 
ten Farbdifferenzwerte werden addiert und durch die Anzahl der Farben und Anzahl der betrachteten Pixel geteilt. Das 
Ergebnis ist ein Prioritatswert fiir die betrachtete Pixelgruppe. Dieser Prioritatswert ist umso hoher, je unterschiedlicher 
die Farbwerte der einzelnen Pixel der Pixelgruppe sind. 

[0046] Weitere Methoden zur Ermittlung des Prioritatswert sind die Benutzung von Grauwerten oder der Maximalwert 
30 einer Farbdifferenz einer Farbe. Da der Prioritatswert spater selbst nicht iibertragen, bzw. abgespeichert wird, hat das 
Verfahren zur Ermittlung des Prioritatswert keinen direkten Einfluss auf die Dekodierung. 

[0047] Durch diese Priorisierung wird erreicht, dass Bildbereiche, die einen groBen Farb- oder Kontrastwechsel auf- 
weisen, wie z. B, Kanten, eine hohe Prioritat erhalten, und relativ gleichbleibende Bildinhalte, wie z. B. blauer Himmel, 
eine Niedrige. 

35 

Prioritatswerte sortieren 

[0048] In diesem Schritt werden die Prioritatswerte der GroBe nach absteigend sortiert. Die Sortierung erfolgt nach Er- 
mitdung jedes neuen Priori tatswertes Fiir jeden Zeitpunkt besitzt man somit eine nach Prioritaten geordnete Liste von Pi- 
40 xelgruppen die absteigend sortiert ist. Es ist anzustreben, dass entsprechende Bildaufnehmer (CCD-Chips) entwickelt 
werden, welche unmittelbar eine solche nach Prioritaten geordnete Liste bereitstellen. Wrd das zu komprimierende Bild 
direkt mit einer CCD Kamera oder einem Scanner aufgenommen, besteht prinzipiell die Moglichkeit, aus dem in der Ka- 
mera/dem Scanner vorhandenen, bildbearbeitenden Mikrochip direkt ein nach Prioritaten sortiertes Array zu erhalten. 
Somit wird beim komprimieren ein wesentlicher Teil des Rechenaufwandes eingespart. 

45 

Aktualisieren der Prioritatswerte 

[0049] Im Gegensatz zu Standbildern (z. B. Fotografien) ergibt sich bei Videoinformationen eine standig wechselnde 
Prioritatsanderung der Pixelgruppen, z. B. bei Kameraschwenk oder bewegten Objekten. Um dies zu verdeutlichen ist in 
50 den Fig. 3 bis 5 ein Videobildarray zu verschiedenen Zeitpunkten tl bis t3 dargestellt, wobei sich ein Objekt von rechts 
nach Unks verschiebt. 

[0050] GemaB Fig. 2 enthalt das Bild zum Zeitpunkt tl ein Objekt, das die Pixel 156, 157, 176, 177, 191-197, 

211-217, 231-237, 256, 257, 276, 277 ausfullt. Fiir die Berechnung der Prioritaten der Pixel (0-419) des Bildes wird die 
in Fig, 2 dick umrandeten Form der Pixelgruppe (links unten) verwendet. Es ergibt sich eine Prioritatsverteilung der Pi- 

55 xel, wie sie in der weiteren Beschreibung des Verfahrens beispielhaft in Tabelle 1 zum Zeitpunkt tl dargestellt ist. Die 
Tabelle enthalt jeweils nur die Nummer des Bezugspixels (pO) einer Pixelgruppe. Diejenigen Pixelgruppen, die sich im 
Randbereich des Objektes befinden und bei denen das jeweilige Bezugspixel (pO) den groBien Unterschied zu den iibri- 
gen Pixeln der Pixelgruppe aufweist, bekommen die hochste Prioritat A. Die Pixelgruppen, deren Bezugspixel einen ge- 
ringeren Unterschied zu den iibrigen Pixeln der Pixelgruppe aufweisen bekommen eine mittlere Prioritat B und diejeni- 

60 gen Pixelgruppen, deren Bezugspixel gar keinen Unterschied zu den ubrigen Pixehi der Pixelgruppe aufweisen die nied- 
rigste Prioritat C. 
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Pripritat A 


Prioritat B 


Prioritat C 


Zeitpunkt t1 


-1^^55.231,191. 

156.157.277,276 


177.197,217,237.^^ 

176.256,211,192, ... 


0,1.2,3,4,5.6.7,8.9,10, 
11. 12.13.14.15.... 


Zeitpunkt t2 


189,173.154.155. 
274.275,253,229 


175,195,215,235.255. 
190,191.192,193, ... 


0,1,2,3.4,5.6,7,8.9.10, 
11, 12,13.14,15, ... 


Zeitpunkt t3 


187.171,227,251, 
152,153.272,273 


173,193,213,233,253, 
188.189.190.191. ... 


0,1,2,3,4,5,6,7,8,9.10, 
11. 12,13.14.15. ... 
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[0051] Im Rahmen der Komprimiening werden nun zunachst die mit Prioritat A versehenden Pixelgruppen iibertragen 
bzw. abgespeichert, dann die Pixelgruppen mit Prioritat B und schlieBlich die Pixelgruppen mit der Prioritat C. Da sich 
das Objekt zwischenzeitlich bewegt und in Bezug zu Fig, 3 in den Fig, 4 und 5 eine andere Position einnimmt, andem 20 
sich die Prioritaten der einzelnen Pixelgruppen. Die Prioritatenliste wird aktualisiert und es wird sofort mit der Ubertra- 
gung der aktuellen Pixelgruppen mit der hochsten Prioritat fortgefahren. 

[0052] Die neu berechneten Prioritaten der Pixelgruppen fiir die Zeitpunkte t2 (Fig. 4) und t3 (Fig. 5) sind in Tabelle 1 
dargestellt. 

[0053] Somit konnte eine mogliche komprimierte Ubertragung eines Videosignals gemaB Tabelle 1 folgendermaBen 25 
aussehen: 

Zeitpunkt tl: Pixelgruppen mit der hochsten Prioritat A werden iibertragen: 
175, 255. 231, 191, 156, 157, 277, 276, 177, 197, 217 

Zum Zeitpunkt i2 werden neue Prioritaten erkannt. Andere Pixelgruppen erhallen hochste Prioritat A. Es wird mit der 
Ubertragung der neuen Prioritat A fortgefahren: 

189, 173, 154, 155, 274, 275, 253, 229 

Danach folgt die Ubertragung der Pixelgruppen mit Prioritat B: 
175, 195, 215, 235, 255, 190, 191, 192, 193, . . . 

Zum Zeitpunkt t3 werden wieder neue Prioritaten erkannt Andere Pixelgruppen erhalten hochste Prioritat A. Es wird mit 
der Ubertragung der neuen Prioritat A fortgefahren: 

187, 171,227,251, 152, 153,272, 273 

[0054] In einem zusatziichen Array wird iaberpriift, welche Pixelgruppen bereits iibertragen worden sind. Wurde eine 
Pixelgruppe schon iibertragen, braucht Sie nicht ein 2tes mal ubertragen werden, sofem sich ihre Prioritat nicht zwi- 
schenzeitlich geandert hat, Bestimmte Bildregionen, z. B. Gesichter, konnen erkannt und bevorzugt ubertragen werden. 
Zusatzlich konnen von dem Empfanger auch bestimmte Pixelgruppen angefordert werden (z.B. bei Erkennung von 40 
Ubertragungsfehleren durch fehlerhaften CRC Check). Derart angeforderte Pixelgruppen konnen dann eine hohe Priori- 
tat erhalten, so dass Sie sofort Ubertragen wird. 
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Pixelgruppen abspeichern/iibertragen 

[0055] Die Begriffe "abspeichem" und "ubertragen" werden nachfolgend synonym verwendet. Zunachst werden einige 
KenngroBen des Videobildes abgespeichert bzw. iibertragen. Exemplarisch aufgefiihrt sind das z. B.: 
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- Bildbreite (in Pixel) 

- Bildhohe (in Pixel) 50 

- Verwendete Form der Pixelgruppe (nicht notwendig wenn nur eine Form standardisiert ist) 

[0056] AnschlieBend werden die einzelnen Pixelgruppen entsprechend ihrer Prioritat abgespeichert bzw. iibertragen, 
d. h. Pixelgruppen mit hoher Prioritat werden zuerst gespeichert (und spater auch zuerst ausgelesen). 
[0057] Dazu wird zunachst der Positionswert des Bezugspixels pO der Pixelgruppe abgespeichert. AnschlieBend wer- 55 
den die Pixel werte PO, PI, P2, P3, P4 abgespeichert. 

Beispiel 

[0058] Positionswert PO, Pixelwerie PO, PI, P2, P3, P4; nachster Positionswert PO (mit gleicher oder niedrigerer Prio- 60 
ritat), Pixelwerte PO, PI, P2, P3, P4, . . nachster Positionswert PO (mit geringster Prioritat), Pixelwerte PO, PI, P2, P3, 
P4. 

[0059] Das Abspeichem kann durch verschiedene Methoden, die hier nur exemplarisch angesprochen werden, opti- 

miert werden. 

[0060] Es kann eine Lauflangencodierung der Pixelgruppen vorgenommen werden. Z. B. wenn in einem Bildbereich 65 
keine Rotanteile vorkommen, kann dies anstelle von 8 Bit (rot) nur mit z. B. 2 Bit iibertragen werden, oder es kann die 
Anzahl der fiihrenden Nullen ausgenutzt werden. 

[0061] Femer konnen allgemein iibliche Kompriinierungsmelhoden, z. B. Zip-Format, verwendet werden. 



[0062] Durch Festlegung eines Grenzwertes fiir die Priorisierung kann eine bestimmte Qualitat gewahrleistet werden. 
Z. B. kann ein Grenzwert fiir die Pixeldiflferenzwerte festgelegl werden unterhalb dessen die zugeordnete Pixelgruppe 
immer den niedrigsten B^fe^tswert bekommt. 

[0063] Werden zunac^^B 4 Pixelgruppen der Eckpunkte iibertragen, bekomd^^P mil wenigen Pixelgruppen eine 
5 groBtmogliche Haclie beSnnet 



Rekonstruktion (Dekomprimiening) der Videodaten 



Neues Bildarray generieren 

10 

[0064] Bei der Rekonstruktion der kompriinierten Videodaten wird zunachst ein Bildarray vergleichbar mit der Dar- 
stellung in Fig, 1 erzeugt. Dazu werden die Kenndaten des Bildes eingelesen und ausgewertet. Exemplarisch sind dies 
Bildbreite, Bildliohe und Form der zur Kompriniierung verwendeten Pixelgruppe. Stimmen die Bildhohe und Bildbreite 

zwischen dem Ursprungsbild und der nun gewunschten Darstellung (z. B. begrenztes PDA Display oder hochauflosender 
15 Bildschirm) nicht iiberein, muss entsprechend skaliert werden, Dazu werden zunachst Umrechnungsfaktoren ermittelt 
(Bildbreite_Orginal/Bildbreite_Display und Bildhohe_Orginal/Bildhohe_Display). Diese Faktoren konnen benutzt wer- 
den urn den Positionswert von dem Originalbild in den Positionswert des neuen Displays umzurechnen. 

Pixelgruppen einfiigen 

20 

[0065] Wie in Fig. 6 dargestellt ist, werden entsprechend der Reihenfolge der priorisierten Pixelgmppen diese nun ein- 
gelesen. Beispielsweise werden die ersten vier Pixelgruppen mit der hochsten Prioritat in das Bildarray eingetragen. In 
Fig^ 6 sind dies die Pixelgruppen an den Ecken des Bildes. Die Position des Bezugspixels pO der jeweiligen Pixelgruppe 
ist durch die schwarz unterlegten Felder 21, 38, 381 bzw. 398 bestimmt. Dieser Positionswert (pO) liegt als Integerwert in 
25 der abgespeicherten Datei vor. Anschliefiend konnen die zur jeweiligen Pixelgruppe gehorenden, dunkelgrau grau unter- 
legten Pixelwerte (pl-p4) in das neue Bildarray eingetragen werden. Die dazwischen liegenden, hellgrau markierten Pi- 
xeiwerte lassen sich dann aus den dunkelgrau und schwarz markierten Feldern berechnen. Zur Berechnung werden zu- 
nachst die bekannten Pixelwerte in ihre Bestandteile Rot, Griin und Blau zerlegl. 

[0066] Anschliefiend wird derMittelwert jederFarbeberechnet, z. B. Pixel(22) = (Pixel(2) + Pixel(21) + Pixel(42))/3). 

30 

Hachen ausfullen 



[0067] Nun werden die bereits vorhandenen Pixelgruppen durch Linien miteinander verbunden. Dies ist in Fig, 7 dar- 
gestellt. Es ergeben sich Dreiecke, dessen Ecken durch die entsprechenden Pixelgruppen definiert sind. Exemplarisch 

35 soli dies an der Linie zwischen Pixelposition 2 und Pixelposition 17 verdeutlicht werden. Der Farbverlauf der Linie wird 
anhand der Farbwerte der Pixel 2 und 17 berechnet. Zunachst wird die Anzahl der Pixel zwischen diesen beiden Positio- 
nen ermittelt, im Beispiel 14. Anschliefiend wird fur jede Farbe (Rot, Griin, Blau) die Farbdifferenz ermittelt, z. B, Farb- 
wert an Position 2 = 2; Farbwert an Position 17 = 30 ergibt Farbdifferenz von 28). Eine Farbwertsteigerung pro Pixel - 
vom Pixel 2 zum Pixel 17 - errechnet sich dann aus Farbdifferenz/Anzahl (Im Beispiel 28/14 = 2). 

40 [0068] Die noch iibrigen Flachen werden durch Zeichnen von horizontalen Linien ausgefiillt, z. B. von Position 63 
nach Position 74, von Position 82 nach Position 93, usw. Auch hier wird ein vorlaufiger Farbverlauf zwischen den Punk- 
ten wie oben angegeben berechnet, 

[0069] Wie Fig. 8 zeigt, ergibt jede weitere hinzufiigte Pixelgruppe weitere Dreiecke die entsprechend ausgefiillt wer- 
den konnen. Nachdem zunachst die gesamte Flache durch Nutzung der 4 Eckpunkte (21, 38, 398, 381) ausgefiillt wurde, 

45 kann nun mit jeder weiteren Rxelgruppe die Auflosung verfeinert werden. Das Hinzufiigen der Pixelgruppe 87 fuhrt zu 4 
Dreiecken mit den Bezugspunkten (21, 38, 87), (21, 87, 381), (381, 87, 398), (398, 78, 38). Wird nun innerhalb eines sol- 
chen Dreieckes, z. B. 87, 381, 398, eine weitere Pixelgruppe (247) eingefugt entstehen 3 neue Dreiecke (247, 381, 398), 
(247, 87, 381) und (247, 87, 398). Jede neue Pixelgruppe erzeugt somit 3 neue Dreiecke, die ausgefiillt werden konnen. 
Je mehr Pixelgruppen eingefugt sind, d. h. je mehr Dreiecke gebildet werden, desto naher kommt der berechnete Farb- 

50 verlauf dem tatsachlichen Farbverlauf des Bildes. Da ab nun immer nur neue Dreiecke entstehen, konnen fiir die Berech- 
nungen optimierte Verfahren verwendet werden. Femer konnen die jeweils 3 neu entstehenden Dreiecke parallel berech- 
net werden, um die Bearbeitungsgeschwindigkeit zu steigem, 

[0070] Zusatzliche Moglichkeit der Parallelisierung entsteht dadurch, wenn neue Pixelgruppen in unterschiedlichen 
Region en des Bildes hinzugefiigt werden. 
55 [0071] Bei den oben beschriebenen Verfahrenschritten wurde vorausgesetzt, dass sich der Bildinhalt zwischen zeitlich 
nicht geanderl hat. Andert sich der Bildinhalt, dann werden die Prioritaten der einzelnen Pixelgruppen neu verteilt und 
die aktuellen Pixelgruppen mit der hochsten Prioritat ubertragen. Es andert sich nur die Reihenfolge der gerade iibertra- 
genen und in das Bild eingefugten Pixelgruppen. Am oben beschriebenen Prinzip der Rekonstruktion des Bildes andert 
sich jedoch nichts. 

60 [0072] Um den zeitlichen Anderungen des Bildinhalts Rechnung zu tragen, konnen jedoch noch zusatzliche Arrays 
(mit der Grofie des Bildarrays) erzeugt werden. Diese konnen Angaben enthalten liber die 

- Zeit, d. h. wann wurde ein Pixelwert zuletzt berechnet bzw. iibertragen 

- Berechnungsgrundlage. Welche ubertragenen Pixel wurden zur Berechnung des Pixelwertes benutzt 

65 - Wahrscheinlichkeii/Genauigkeil. Wurde ein Pixelwert iibertragen oder berechnet; falls er berechnet wurde wie 
groB ist die Varianz der Pixelgruppen aus denen der neue Wert berechnet wurde? 

- Abweichung von schon kalkulierten Pixelwerten mit dann iibertragenden Pixelwerten 



[0073] Aus diesen GroBen lassen sich dann Bildregionen bestimmen in denen haufig Pixelgruppenanderungen vor- 
kommen. Benachbarte Pixelgruppen, oder auch komplette Bereiche werden in aller Regel ahnlichen Veranderungen, 
z. B. HelligkeitsanderuQ^^arbanderungen unterliegen. Durch Auswertung dies^|&derungen lassen sich in aller Re- 
gel Objekte und ihr dyr^^ftes Verhalten bestinunen, z. B. Gegenstand der sicl^^Bdeo bewegt. Gleichmafiige An- 
derungen bezogen auf das gesamte Bildarray konnen zum Beispiel auf einen Kameraschwenk hinweisen. Werden diese 5 
Informationen z. B. mit Hilfe von lemfahigen neuronalen Netzen ausgewertet, lassen sich sehr leicht Abschatzungen 
iiber die Pixelwerte von noch nicht ubertragenden Pixelgruppen machen. Treffen diese Abschatzungen zu, konnen Pixel- 
gruppen ideniifiziert werden, die besonderen Einfluss auf Veranderungen auf Objekte besitzen. Werden diese Pixelgrup- 
pen von der Quelle emeul angefragt, ist es moglich Objektbewegungen mit nur wenig Pixelgruppen genau zu bestimmen 
und vorherzusagen. In der Praxis bedeutet es, dass obwohl nur eine niedrige Bandbreite zur Verfugung steht, niedrige lo 
Verzogerungszeiten auftreten, die wesentlich geringer sind als bei Frame-basierten Verfahren. Die Auswertung der zu- 
satzlich im Empfanger generierten Arrays erlaubt auch eine gute Objekterkennung. 

[0074] In Abhangigkeit der verfiigbaren Ressourcen konnen neben der reinen Priorisiening durch die Farbwerte be- 
nachbarter Pixel auch Abhangigkeiten der Lage der priori sierten Pixelgruppen herangezogen werden. 
[0075] Ein Anwendungsfall soli dies verdeuilichen. Betrachtet man auf See einen Horizont, erscheint dieser wie eine 15 
waagerechte Linie. Es ist zu erwarten, dass diePrioritatswerte jeder Pixelgruppe entlang diesem Horizont in etwa gleich 
sind. In diesem Fall besitzen die am weitesten auseinander liegenden Punkte der Horizontlinie die groBte Aussagekraft. 
Durch Obertragung der auBersten linken und auBersten rechten Pixelgruppen des Horizonts ist es schon moglich, diesen 
wieder zu rekonstruieren. 

[0076] Eine weitere Moglichkeit der Priorisiening liegt in der Hoherbewertung bestimmter Bildbereiche. Ein solcher 20 
Bildbereich konnen zum Beispiel Gesichter sein. Obwohl Gesichter auf Urlaubsvideos manchnial nur einen prozentual 
kleinen Bereich des gesamten Bildes ausmachen, stehen sie beim Betrachten meist im Mittelpunkt. Ein solches mensch- 
liches Sehverhaiten kann durch entsprechende Priorisierung der Pixelgruppen dieser Bildbereiche (Gesichtsbereiche) be- 
riicksichtigt werden. Ebenso konnen die Pixelgruppen im Zentrum des \^deos eine entsprechend hohere Priorisierung er- 
fahren. 25 
[0077] Eine weitere Moglichkeit der Optimierung besteht in der Tatsache, dass sich benachbarte Pixelgruppen gegen- 
seitig iiberlagem, Durch geschickte Auswahl der Pixelgruppen kann vermieden werden, dass sich iiberlagemde Pixel- 
werte benachbarten Pixelgruppen wiederholt iibertragen werden. 

[0078] Der Aufwand der zum Dekodieren verwendet wird, ist frei skalierbar. Bei kleineren Displays (z. B. Handys) ist 
sicherlich weniger Rechenaufwand notwendig als die Wiedergabe auf einem hochauflosendem GroBbildschirm, obwohl 30 
beide den gleichen Quelldatenstrom, bestehend aus den priorisierten Pixelgruppen, verwenden. Diese flexible Skalierung 
erlaubt es Herstellem von Endgeraten, spezielle Optimierungen, z. B. Anzahl der Objekte, Historie der Bildanderungen, 
in ihre Gerate einzubauen. Fur die Hersteller ergibt sich eine MogHchkeit, sich von ihren Mitbewerbem abzuheben, ohne 
die Kompatibilitat der Videoiibertragung zu gefahrden. 



Patentanspriiche 
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1. Verfahren zur Komprimierung von Videodaten, die aus einem Array einzelner Bildpunkte (Pixel) bestehen, wo- 
bei jedes Pixel (0-419) einen sich zeitlich verandemden Pixelwert aufweist, der Farb- oder Helligkeitsinformaiion 
des Pixels beschreibt, gekennzeichnet durch die Schritte: 40 

a) Ermitteln eines Prioritatswertes fiir jedes Pixel des Arrays durch Berechnen eines Pixeldifferenzwertes an- 
hand des jeweils momentanen Pixelwerts des Pixels in Bezug auf die momentanen Pixelwerte einer zuvor fest- 
gelegten Gruppe von benachbarten Pixeln; 

b) Zusammenfassen der fiir die Berechnung des Prioritatswertes hinzugezogenen Pixel zu einer Pixelgruppe 
(P0-P4), 45 

c) Sortieren der Pixelgruppen anhand ihres Prioritatswertes und Ablegen in einem Prioritatenarray; und 

d) Abspeichem und/oder Ubertragen der Pixelgruppen entsprechend ihrer Priorital im Prioritatenarray, 
wobei die Schritte a) bis d) standig wiederholt werden, wobei die Prioritatswerte der Pixelgruppen stets neu ermit- 
telt werden und das Prioritatenarray zu jedem Zeitpunkt die nach aktuellen Prioritaten sortierten Pixelgruppen ent- 
halt. 50 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Pixeldifferenzwert sich aus der Differenz des Pi- 
xelwerts eines betrachteten Pixels zum Pixelwert jedes seiner betrachteten Nachbarpixel der Pixelgruppe ergibt. 

3. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass zu Beginn die KenngroBen 
des Videobildes, wie Bildbreite in Pixel, Bildhohe in Pixel und Form der verwendeten Pixelgruppe abgespeichert 
und/oder ubertragen werden. 55 

4. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass fiir jede Pixelgruppe die 
Position eines Bezugspixels (PO), dessen Pixelwert, sowie der Pixelwert der iibrigen Pixel (P1-P4) der Pixelgruppe 
abgespeichert oder ubertragen wird. 

5. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass Pixelgruppen bestimmter 
Bildbereiche eine erhohte Prioritat zugeordnet wird. 60 

6. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass die Pixelwerte der Pixel- 
gruppen durch Lauflangencodierung oder andere Kompressions verfahren weiter komprimiert werden. 

7. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass die laufende Ennittlung 
und Ausgabe der nach Prioritaten sortierten Pixelgruppen bereits durch ein verwendetes bildaufnehmendes System, 
wie z. B. Scanner, COD-Kamera, erfolgt. 65 

8. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass Framegrabber Karten 
(bzw. Softwarelosungen) eingesetzt werden konnen, um auch vorliegendes Videomaterial verschiedenster Formate 
(z. B. AVI, MPEG-1, MPEG-2, MPEG-4, . . .) zu konvertieren. 



9. Verfahren zur Rekonstruktion von Videodaten, die mit dem Verfahren gemaB den Anspriichen 1 bis 8 kompri- 
miert wurden, dadurch gekennzeichnet, dass die jeweils eingelesenen Rxelwerte in Form eines Bildarrays da^e- 
stellt warden, wob^^^noch nicht ilbertragenden Pixel aus den schon iibertj^^^en Pixeln berechnet werden. 

10. Verfahren nac^^Hpruch 9, gekennzeichnet durch die Schritte: 

5 a) GeneriereiSmes leeren Bildanrays aus den eingelesenen KenngroBerS^komprimierten Videobildes, 

b) Kontinuierliches Einlesen der abgespeicherten bzw. iibertragenen Pixelgruppen und Einfiigen in das Bild- 
array, 

c) Bilden von Drciecken durch Verbinden von jeweils drei unmittelbar benachbarter Pixelgruppen durch min- 

destens cine Linie, 

10 d) Ausfiillen der die Flache der Dreiecke bildenden Pixel durch einen aus den das Dreieck bildenden Pixel- 

gruppen berechneten Farb- und/oder Heliigkeitsverlauf, und 
e) Wiederholen der Schritte b) bis e) 

11. Verfahren nach einem der Anspriiche 9 oder 10, dadurch gekennzeichnet, dass die Dreiecke in ihrer Grofie ska- 
lierbar und an unterschiedliche Bildauflosungen anpassbar sind. 

15 12, Verfahren nach einem der Anspriiche 9 bis 11, dadurch gekennzeichnet, dass zusatziiche Arrays erzeugt werden 

konnen, die Angaben enthalten iiber die: 

- Zeit, d. h. wann wurde ein Pixelwert zuletzt berechnet bzw, iibertragen, 

- Berechnungsgrundlage, d. h. welche iibertragenen Pixel wurden zur Berechnung des Pixelwertes benutzt, 

- Wahrscheinlichkeit/Genauigkeit, d. h. wurde ein Pixelwert iibertragen oder berechnet; falls er berechnet 
20 wurde, wie groB ist die Varianz der Pixelgruppen aus denen der neue Wert berechnet wurde, 

- Abweichung von schon kalkulierten Pixelwerten mit dann iibertragenden Pixelwerten. 

13. Verfahren nach einem der Anspriiche 9 bis 12, dadurch gekennzeichnet, dass anhand der gemaB Anspruch 12 
erzeugien Arrays, auf einfache Art Bcwegungsprofile und Objekte erkannt werden konnen. 

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass durch Auswertung der Bcwegungsprofile und Ob- 
25 jekte fliissige Bewegungen mit extrem niedrigen Latenzzeiten, trotz niedrigster Ubertragungsraten erzielt werden 

konnen. 
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